PUE低至1.02x：风冷&液冷数据中心里的散热知识
在上一篇《液冷服务器进化：解决漏水检测才能放心跑200W CPU》中，我讨论了比风冷效率高的液冷为何难普及，戴尔3代液冷服务器从铜管布局到漏水检测设计上的变化，以及200W功耗的英特尔Xeon E5v4 CPU规格。最后还列出了这个表格：
由PUE驱动的不同冷却系统方式，引用自Moor Insights & Strategy的文档《DELL’S LIQUID COOLING INNOVATION FOR SCALE-OUT DATACENTERENVIRONMENTS》
如上表，Dell ‘Triton’的PUE范围在1.026-1.029，与之效率最接近的是“混合风冷&水冷散热”——1.036-1.056，其它几种散热系统方式的PUE都在1.30以上。那么CRAC、CRAH等名词都代表什么意思呢？
传统风冷散热：PUE > 1.30，图片引用自《Introducing Dell ’Triton’ technology - A unique approach to liquidcooling in the datacenter》
上图中有些名词比较好理解，比如Cooling Tower——冷却塔、Air-Cool Server Rack——风冷服务器机架，另外几个为了严谨起见我还是请教了一下专家：
AirHandler = 风机
MechanicalChiller（机械致冷） = 压缩冷机
FacilityCooling Pump = 冷冻水水泵
根据我的理解，这里的Air Handler位于机房到外界的出口；Mechanical Chiller的作用相当于带有压缩机的空调。为了搞清水泵在传统风冷数据中心里的作用，需要进一步了解整个散热系统设计。对于该领域的专家自然不会陌生，我就在这里班门弄斧简单讲讲吧。
方案1：使用Computer RoomAir Conditioner（机房空调，CRAC）的典型IT制冷
上图右侧的方框表示机房，其中最右边的IT设备在传统风冷机柜中，红色粗箭头代表机房内部的散热气流。左边的空调从蒸发冷却塔引入冷水，应该是通过风扇和换热排——降温后的空气重新进入机房循环，而升温后的水带走热量，在水泵的驱动下流向冷却塔。
方案2：使用ComputerRoom Air Handler（机房风机，CRAH）并带有Chilled Water Distribution（中央冷却水系统）的典型IT制冷
第二种方案机房里的“风机”设计比上一张图中的“空调”有所简化，也就是说省去了内部的水箱和水泵。而机房外面增加的“Central Chilled H2O System”就相当于前面所说的MechanicalChiller（压缩冷机），也可以理解为中央空调，我看到有压缩机在调节两端的水温。
典型液冷散热：PUE > 1.036 -1.056
典型数据中心液冷方案的结构图，比风冷简化了不少。在服务器机架和冷却塔之间除了水泵，还有一个CDU，这是做什么的呢？
答：CentralDistribution Unit与上文中说的“Chilled Water Distribution（中央冷水系统）”还有些不同。CDU通常用于水路分配和回路冗余保护，不含热交换的。室内热交换一般都在Air Handler内。
那么按照上图，Air Handler（风机）又处于什么位置呢？我们接着往下看。
方案3：带有Rear Cooling Doors（机柜后冷却门）的中央冷水系统
如上图，每个机柜向外吹的热风经过后门上的水冷换热铜排，把热量转化为升高的水温，机房里的气流循环也不再是“红色”。左边机房外的部分与前面一张图里的Central Chilled H2O System相同。
需要说明一点，这个机柜应该属于风冷to液冷的设计，像戴尔Triton全液冷机架方案的示意图后面会列出。另外，如果能用Central Distribution Unit解决应该比Central ChilledH2O System要好，因为多一次热交换就会多一些能源损耗。
方案4：在整个数据中心里的Dell ‘Triton’
这个就是戴尔的“Triton”机架，其中正面的“Block”计算节点是在6U机箱内的12个1/3宽度抽屉，每节点的高度为1.5U。更多吸引我们关注的是机柜背面上下2个“Rear Cabinet”，该处提到了8个风扇。从前面照片中，可以看到服务器节点主要的发热部件CPU已经由水冷来解决，那么这里的风扇是协助水冷用的？
答：除了CPU外，还有其它发热部件，所以还是需要风扇对这些部件散热的。风扇前面还有盘管结构，所以会有一次冷热交换，确保出风口的出风为冷风，防止后端热量堆积。
有了这些理论基础，再来看下面的图就比较好理解了。
与前面的方案3相比，如果仔细观察可以发现上图中的冷水引入机房之后，注入到服务器然后再经过机柜后冷却门流出（风冷只是辅助）。而机房外面也省去了Central Distribution Unit或者Central Chilled H2OSystem，到冷却塔之间只剩下一个水泵。
Triton液冷散热：PUE > 1.026 -1.029
与前面的典型液冷方案相比，Dell ‘Triton’是因为省掉了CDU这个中间环节而使PUE值进一步降低吗？
答：省略CDU，对于PUE是没有影响，对简化数据中心的规划设计和部署是有帮助的。PUE的提升，来自于用冷冻水通过冷盘(Cold Plate)带走CPU散热，大幅减少风扇能耗。
到这里我还有一个问题：除了使用循环水的蒸发型冷却塔之外，取自数据中心附近河湖的冷水可以用于Triton吗？（比如xxx千岛湖数据中心）
答：只要符合温度的水源，在经过一定过滤后，都可以使用。
在此特别感谢戴尔负责服务器架构方面的蔡克文先生对撰写本文的帮助。
他还用一句话总结了戴尔Triton的价值：“Triton方案采用更简洁高效的液冷接入方案，已最小的工程投入，获得最佳PUE的产出。结合以一系列漏液管理机制，确保运营安全。”
注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。进一步交流技术，可以加我的QQ/微信：490834312。
欢迎转发链接分享，请在本公众号发布2天后，才能转载本文。尊重知识，请必须全文转载，并包括本行及如下二维码。
感谢您的阅读和支持！《企业存储技术》微信公众号：huangliang_storage